我们提出了一种新型的深神经网络(DNN)体系结构,以在仅在解码器侧作为侧面信息可用时,以压缩图像,这是一个著名且经过深入研究的分布式源编码(DSC)问题的特殊情况。特别是,我们考虑了一对立体声图像,它们具有重叠的视野,由同步和校准的摄像机捕获。因此,高度相关。我们假设该对的一个图像要被压缩和传输,而另一个图像仅在解码器上可用。在提出的体系结构中,编码器使用DNN将输入图像映射到潜在空间,量化潜在表示,并使用熵编码无损地压缩了它。所提出的解码器提取了仅从可用侧面信息的图像之间的有用信息,以及侧面信息的潜在表示。然后,这两个图像的潜在表示,一个是从编码器中接收的,另一个从本地提取,以及本地生成的共同信息,将其馈送到两个图像的各个解码器中。我们采用交叉意见模块(CAM)来对齐两个图像的各个解码器的中间层中获得的特征图,从而可以更好地利用侧面信息。我们训练并演示了拟议算法对各种现实设置的有效性,例如立体声图像对的Kitti和CityScape数据集。我们的结果表明,所提出的体系结构能够以更有效的方式利用仅解码器的侧面信息,因为它表现优于先前的工作。我们还表明,即使在未校准和未同步的相机阵列用例的情况下,提出的方法也能够提供显着的收益。
translated by 谷歌翻译